Wirksamkeit und Nutzen der COVID-19-Impfstoffe – der Elefant ist (nicht) im Raum

COVID-19 vaccine efficacy and effectiveness—the elephant (not) in the room

Approximately 96 COVID-19 vaccines are at various stages of clinical development.1

At present, we have the interim results of four studies published in scientific journals (
on the Pfizer–BioNTech BNT162b2 mRNA vaccine,2
the Moderna–US National Institutes of Health [NIH] mRNA-1273 vaccine,3

the AstraZeneca–Oxford ChAdOx1 nCov-19 vaccine,4 and
the Gamaleya GamCovidVac [Sputnik V] vaccine)5 and three studies through the US Food and Drug Administration (FDA) briefing documents (on the Pfizer–BioNTech,6Moderna–NIH,7 and Johnson & Johnson [J&J] Ad26.COV2.S vaccines).8

Furthermore, excerpts of these results have been widely communicated and debated through press releases and media, sometimes in misleading ways.9


Although attention has focused on vaccine efficacy and comparing the reduction of the number of symptomatic cases, fully understanding the efficacy and effectiveness of vaccines is less straightforward than it might seem.



Depending on how the effect size is expressed, a quite different picture might emerge (figure; appendix).

Vaccine efficacy is generally reported as a relative risk reduction (RRR).

It uses the relative risk (RR)—ie, the ratio of attack rates with and without a vaccine—which is expressed as 1–RR.


Ranking by reported efficacy gives relative risk reductions of
95% for the Pfizer–BioNTech,
94% for the Moderna–NIH,
90% for the Gamaleya,
67% for the J&J, and
67% for the AstraZeneca–Oxford vaccines.


However, RRR should be seen against the background risk of being infected and becoming ill with COVID-19, which varies between populations and over time.


Although the RRR considers only participants who could benefit from the vaccine, the absolute risk reduction (ARR), which is the difference between attack rates with and without a vaccine, considers the whole population.


ARRs tend to be ignored because they give a much less impressive effect size than RRRs:
1·3% for the AstraZeneca–Oxford,
1·2% for the Moderna–NIH,
1·2% for the J&J,
0·93% for the Gamaleya, and
0·84% for the Pfizer–BioNTech vaccines.

ARR is also used to derive an estimate of vaccine effectiveness, which is the number needed to vaccinate (NNV) to prevent one more caseof COVID-19 as 1/ARR.


NNVs bring a different perspective:
76 for the Moderna–NIH,
78 for the AstraZeneca–Oxford,
80 for the Gamaleya,
84 for the J&J, and
117 for the Pfizer–BioNTech vaccines.

The explanation lies in the combination of vaccine efficacy and different background risks of COVID-19 across studies:

0·9% for the Pfizer–BioNTech,
1% for the Gamaleya,
1·4% for the Moderna–NIH,
1·8% for the J&J,
and 1·9% for the AstraZeneca–Oxford vaccines.

ARR (and NNV) are sensitive to background risk—the higher the risk, the higher the effectiveness—as exemplified by the analyses of the J&J’s vaccine on centrally confirmed cases compared with all cases:8

both the numerator and denominator change, RRR does not change (66–67%), but the one-third increase in attack rates in the unvaccinated group (from 1·8% to 2·4%) translates in a one-fourth decrease in NNV (from 84 to 64).


We declare no competing interests. Copyright © 2021 The Author(s). Published by Elsevier Ltd.
This is an Open Access article under the CC BY-NC-ND 4.0 license. *Piero Olliaro, Els Torreele, Michel Vaillantpiero.olliaro@ndm.ox.ac.uk
Centre for Tropical Medicine and Global Health, Nuffield Department of Medicine, University of Oxford, Oxford OX3 7FZ, UK (PO);
Institute for Innovation and Public Purpose, University College London, London, UK (ET);
Competence Center for Methodology and Statistics, Luxembourg Institute of Health, Strassen, Luxemburg (MV)
1
Zimmer C, Corum J, Wee S-L. Covid-19 Vaccine Tracker. https://www.nytimes.com/interactive/2020/science/coronavirus-vaccine-tracker.html (accessed March 10, 2021).
2
Polack FP, Thomas SJ, Kitchin N, et al. Safety and efficacy of the BNT162b2 mRNA COVID-19 Vaccine. N Engl J Med 2020; 383: 2603–15.
3
Baden LR, El Sahly HM, Essink B, et al. Efficacy and safety of the mRNA-1273 SARS-CoV-2 Vaccine. N Engl J Med 2021; 384: 403–16.
4
Voysey M, Clemens SAC, Madhi SA, et al. Safety and efficacy of the ChAdOx1 nCoV-19 vaccine (AZD1222) against SARS-CoV-2: an interim analysis of four randomised controlled trials in Brazil, South Africa, and the UK. Lancet 2021; 397: 99–111.
5
Logunov DY, Dolzhikova IV, Shcheblyakov DV, et al. Safety and efficacy of an rAd26 and rAd5 vector-based heterologous prime-boost COVID-19 vaccine: an interim analysis of a randomised controlled phase 3 trial in Russia. Lancet2021; 397: 671–81.
6
US Food and Drug Administration. Vaccines and Related Biological Products Advisory Committee meeting: FDA briefing document. Dec 10, 2020. https://www.fda.gov/advisory-committees/advisory-committee-calendar/vaccines-and-related-biological-products-advisory-committee-december-10-2020-meeting-announcement (accessed March 10, 2021).
7
US Food and Drug Administration. Vaccines and Related Biological Products Advisory Committee meeting: FDA briefing document. Dec 17, 2020. https://www.fda.gov/advisory-committees/advisory-committee-calendar/vaccines-and-related-biological-products-advisory-committee-december-17-2020-meeting-announcement (accessed March 10, 2021).
8
US Food and Drug Administration. Vaccines and Related Biological Products Advisory Committee meeting: FDA briefing document. Feb 26, 2021. https://www.fda.gov/advisory-committees/advisory-committee-calendar/vaccines-and-related-biological-products-advisory-committee-february-26-2021-meeting-announcement (accessed March 10, 2021).
9
Olliaro P. What does 95% COVID-19 vaccine efficacy really mean? Lancet Infect Dis 2021; published online Feb 17. https://doi.org/10.1016/S1473-3099(21)00075-X.
10
Brown RB. Outcome reporting bias in COVID-19 mRNA vaccine clinical trials. Medicina (Kaunas) 2021; 57: 199.
11
Dagan N, Barda N, Kepten E, et al. BNT162b2 mRNA COVID-19 vaccine in a nationwide mass vaccination setting. N Engl J Med 2021; published online Feb 24.
https://doi.org/10.1056/NEJMoa2101765.

Wirksamkeit und Nutzen des COVID-19-Impfstoffs – der Elefant ist (nicht) im Raum

Ungefähr 96 COVID-19-Impfstoffe befinden sich in verschiedenen Stadien der klinischen Entwicklung.1

Derzeit liegen die Zwischenergebnisse von vier in wissenschaftlichen Fachzeitschriften veröffentlichten Studien vor (
zum mRNA-Impfstoff Pfizer-BioNTech BNT162b2, 2
zum mRNA-1273-Impfstoff der Moderna-US National Institutes of Health [NIH], 3
zum AstraZeneca-Oxford ChAdOx1 nCov-nCov- 19 Impfstoff, 4 und
der Gamaleya GamCovidVac [Sputnik V] -Impfstoff) 5 und drei Studien durch die US-amerikanische Food and Drug Administration (FDA) (zu Pfizer-BioNTech, 6Moderna-NIH, 7 und Johnson & Johnson [J & J] Ad26 .COV2.S-Impfstoffe) .8

Darüber hinaus wurden Auszüge dieser Ergebnisse in Pressemitteilungen und Medien ausführlich kommuniziert und diskutiert, manchmal auf irreführende Weise.9

Obwohl sich die Aufmerksamkeit auf die Wirksamkeit des Impfstoffs und den Vergleich der Verringerung der Anzahl symptomatischer Fälle konzentriert hat, ist es nicht so einfach, Wirksamkeit und Nutzen von Impfstoffen vollständig zu verstehen, als es den Anschein hat.

Je nachdem, wie die Effektgröße ausgedrückt wird, kann ein ganz anderes Bild entstehen (Abbildung; Anhang).

Die Wirksamkeit des Impfstoffs wird im Allgemeinen als relative Risikoreduzierung (RRR) angegeben.

Es verwendet das relative Risiko (RR), dh das Verhältnis der Angriffsraten mit und ohne Impfstoff, das als 1-RR ausgedrückt wird.

Die Rangfolge nach gemeldeter Wirksamkeit ergibt eine relative Risikoreduktion von
95% für die Pfizer-BioNTech-Impfstoffe,
94% für die Moderna-NIH,
90% für die Gamaleya,
67% für die J & J-Impfstoffe und
67% für die AstraZeneca-Oxford-Impfstoffe.


RRR sollte jedoch vor dem Hintergrund des Risikos gesehen werden, mit COVID-19 infiziert zu werden und krank zu werden, das zwischen den Populationen und im Laufe der Zeit variiert.

Obwohl die RRR nur Teilnehmer berücksichtigt, die von dem Impfstoff profitieren könnten, berücksichtigt die absolute Risikoreduzierung (ARR), die den Unterschied zwischen den Angriffsraten mit und ohne Impfstoff darstellt, die gesamte Bevölkerung.

ARRs werden in der Regel ignoriert, da sie eine viel weniger beeindruckende Effektgröße als RRRs ergeben: 1,3% für AstraZeneca-Oxford,
1,2% für Moderna-NIH,
1,2% für J & J,
0,93% für Gamaleya und
0,84% für die Pfizer-BioNTech-Impfstoffe.

ARR wird auch verwendet, um eine Schätzung der Wirksamkeit des Impfstoffs abzuleiten. Dies ist die Anzahl der erforderlichen Geimpften (NNV), um einen weiteren Fall von COVID-19 als 1 / ARR zu verhindern.

NNVs bieten eine andere Perspektive:
76 für Moderna-NIH,
78 für AstraZeneca-Oxford,
80 für Gamaleya,
84 für J & J und
117 für Pfizer-BioNTech-Impfstoffe.

Die Erklärung liegt in der Kombination der Wirksamkeit des Impfstoffs und der unterschiedlichen Hintergrundrisiken von COVID-19 in verschiedenen Studien:
0,9% für den Pfizer-BioNTech,
1% für die Gamaleya,
1,4% für das Moderna-NIH,
1,8% für die J & J,
und 1,9% für die AstraZeneca-Oxford-Impfstoffe.

ARR (und NNV) reagieren empfindlich auf das Hintergrundrisiko – je höher das Risiko (zu erkranken) , desto höher die Wirksamkeit -, wie die Analysen des J & J-Impfstoffs in zentral bestätigten Fällen im Vergleich zu allen Fällen zeigen: 8
Sowohl der Zähler als auch der Nenner ändern sich, RRR ändert sich nicht (66–67%), aber der Anstieg der Angriffsraten in der nicht geimpften Gruppe um ein Drittel (von 1,8% auf 2,4%) führt zu einem Rückgang des NNV um ein Viertel (von 84 auf 64).